Amazon Qの精度は如何に!? チャット機能を使ってAWS認定のサンプル問題を解かせてみた!

はじめに

こんにちは！AWS事業本部コンサルティング部の酒井です。
AWS re:Invent 2023でAmazon Qが発表され、プレビュー機能として利用できるようになりました。

チャット系AIで起こりうるハルシネーション(もっともらしいウソ)にフォーカスし、
Amazon Qの出力精度を確認してみます！

Amazon Q とは？

Amazon Q (For AWS Builder Use) is a generative artificial intelligence (AI) powered conversational assistant that can help you understand, build, extend, and operate AWS applications as well as answer questions about AWS, including but not limited to those about support, architecture, best practices, and documentation.
Amazon Q is constantly updating its capabilities and competencies, ensuring that your questions get the most contextually relevant and actionable answers, including the ability to connect you to a human if needed.

When used in the IDE, Amazon Q additionally provides software development assistance, including code explanation, code generation, and code improvements such as debugging and optimization.

日本語訳： Amazon Q（AWS Builder Use向け）は、生成型の人工知能（AI）による会話型アシスタントであり、AWSアプリケーションの理解、構築、拡張、運用を支援し、AWSについての質問（サポート、アーキテクチャ、ベストプラクティス、ドキュメンテーションに関するものなど）に答えることができます。
Amazon Qは、常にその能力とコンピテンシーを更新しており、必要に応じて人間に接続する能力を含む、最も文脈に適した行動指針を提供する回答をあなたの質問に提供します。

引用：What is Amazon Q (For AWS Builder Use)?

使い方はこちらの記事をご確認ください。

実際に質問してみた

技術的要件を満たすAWSサービス・機能を提示できるか確認してみます。
※プレビュー版は英語でのみ質問可能

今回は情報の整合性も確認したいので、AWS認定のSAA(英語版サンプル問題)から
いくつかピックアップして使用します。　　

サンプル問題1:

2週間の休業期間中、メモリ内のデータをロストすることなく、
不要なEC2を停止してコストを削減する方法について確認します。

要約すると以下の内容が返ってきました。
サンプル問題の解答と同等の内容となっています。
加えて利点や参考リンクも提示されていて、とても親切な返答になっていることがわかります。

ソリューションアーキテクトは、EC2インスタンスの休止機能を推奨すべきです。これにより、インスタンスの状態を保持し、オペレーティングシステムを再起動せずに迅速に再開できます。

サンプル問題の解答

Run the applications on EC2 instances enabled for hibernation. Hibernate the instances before the 2-week company shutdown.

日本語訳： 休止状態が有効になっている EC2 インスタンスでアプリケーションを実行する。 会社が 2 週間の一時休業に入る前に、インスタンスを休止状態にする。

サンプル問題2:

Auroraへの読み取りによってI/Oが高くなり、
書き込みのパフォーマンスに影響を及ぼしているので、
読み書きのリクエストを分離する方法について確認します。

以下が要約した内容になります。
質問1の時と同様に、正しい提案がなされた上で参考リンク等を提供してくれています。

ソリューションアーキテクトは、Aurora DBクラスタから読み込みレプリカを作り、読み書きのリクエストを分離し、パフォーマンスを向上させます。

サンプル問題の解答

Create an Aurora replica and modify the application to use the appropriate endpoints.

日本語訳： Aurora レプリカを作成し、適切なエンドポイントを使用するようにアプリケーションを変更する。

まとめ

今回はAmazon Qのチャット機能を利用してみました。
検証の範囲では、ハルシネーション(もっともらしいウソ)は起きませんでした。
ですが、ハルシネーションが起きる要因は様々で、利用者側に問題があるケースも多々あります。
出力された情報の整合性をチェックすることを心がけましょう。

チャット機能以外にも色んな機能が用意されているので、GA(一般利用可能)が待ち遠しいですね。
しかしAI系のサービスが充実する一方、これからは単純な技術の活用だけでなく、
顧客のニーズに応えた付加価値を高い提案をするスキルが求められると感じました。